[數據分析] ETL一個基本又很重要的數據工程概念✅
這一年來的工作，常常需要把數據搬來搬去，像在搬磚頭一樣
實際到底怎麼搬？為什麼搬？就先來提這個ETL的基本概念吧
✅ETL就是Extract - Transform - Load
簡單說
Extract ▶️把數字撈出來 - 做需要的整合、
Transform ▶️clean整理、
Transform ▶️format格式排版化 - 最後將整理好的數字，
Load ▶️送到最後的用途處
這本來是個很IT的概念，處理大規模的data warehouse的應用
但就現在大數據、雲端跟data accessibility 越來越普及，就會用ETL的工具將數據搬來搬去
以前可能是手動：
從系統A跟系統B，手動下載報告
在Excel內整合，無論是數字排版或是篩選等等
最後劃表格，在Excel或是Power Point呈現圖表
現在就變成了一切自動化且大規模的ETL
例如我從IT管理的大資料庫裡，ETL出我需要的部分欄位，丟到雲端環境，再整合從別處ETL的數據，就可以資料連連看，做更進一步的分析
或是load資料去視覺化的呈現報告
像常用的API, data transfer這些，大多是屬於ETL的概念跟運用
那哪個ETL工具好用？
就看使用用途、目的性跟預算了，因為各式各樣的ETL工具實在是太多了，自己搜尋😉
👉🏼👉🏼我的書【大英國小職員職場奮鬥記：拒絕壓榨!大膽出走海外就業去】👈🏼👈🏼
博客來購書網址：https://goo.gl/V5Vm7y
誠品購書網址：https://goo.gl/fEFNDP
樂天電子書：https://goo.gl/KStfuT
👉🏼香港：三聯、中華、商務書局
👉🏼英國郵寄購書請私訊
Search